Tư Mã Vĩ sinh vào năm 271 SCN. Ban đầu, ông được phong tước vị Thủy Bình vương, chức giáo úy lịch đồn. Những năm cuối niên hiệu Thái Khang thời Vũ Đế, Tư Mã Vĩ được dời sang làm vua ở đất Sở, thăng đến chức Đô đốc Kinh châu chư quân sự, Bình Nam tướng quân, sau cải làm Trấn Nam tướng quân.

Sau khi Tấn Huệ Đế lên ngôi, Tư Mã Vĩ lại được thăng làm Vệ tướng quân, thống lĩnh Bắc quân, hàm Thị trung và được giao nhiệm vụ Thiếu phó cho thái tử Tư Mã Duật.

Tấn Huệ Đế vừa ngốc nghếch vừa ngây ngô, nên ông ngoại Dương Tuấn làm phụ chính, pháp lệnh trong triều đều được thông qua trực tiếp từ Dương Thái hậu. Vợ của Huệ Đế là Giả Nam Phong, con đại thần Giả Sung hơn Huệ Đế 2 tuổi, là một người đàn bà gian trá, muốn tiêu diệt thế lực họ Dương để tự nắm quyền. Dương Tuấn biết rằng Giả hậu khó khống chế, bèn sai thân tín chưởng quản cấm quân để đề phòng, dẫn đến việc các hoàng thân và đại thần bất mãn. Mặc dù hai người em là Dương Diêu, Dương Tế thường can ngăn nhưng Dương Tuấn không nghe.

Giả Nam Phong rắp tâm đoạt lấy quyền hành, bèn bí mật phái người liên kết với Tư Mã Vĩ và Nhữ Nam vương Tư Mã Lượng thảo phạt Dương Tuấn. Theo lời Giả hậu, Tư Mã Vĩ đem quân từ Kinh châu tiến về kinh. Tháng 3 năm 291, Giả hậu nhân danh chiếu chỉ của Huệ Đế, vu khống Dương Tuân mưu phản, ra lệnh giới nghiêm toàn thành Lạc Dương, sai Tư Mã Vĩ lĩnh quân bảo vệ hoàng cung, tấn công phủ đệ Dương Tuấn.

Dương Tuấn vốn là người nhu nhược, thấy vậy hoảng sợ không biết cách ứng phó. Tư Mã Vĩ hạ lệnh thiêu cháy phủ đệ họ Dương. Dương Tuấn lẻn trốn ra ngoài, sau đó bị giết.